from pyspark import SparkConf
from pyspark import SparkContext


def one_to_one(x):
    return x * x;


if __name__ == '__main__':
    conf = SparkConf().setMaster("local[*]").setAppName("spark01")
    sc = SparkContext(conf=conf)

    # # 第一个例子
    # lst = ['laoxiao', 'laoma', 'laozhang', 'dazhi']
    # # 留下哪些包含lao
    # rdd1 = sc.parallelize(lst)
    #
    # # func：把每一个元素拿来做判断
    # rdd2 = rdd1.filter(lambda x: 'lao' in x)
    # print(rdd2.collect())

    # 第二个例子，flatmap
    # 需求：把每个数字都转换成数字序列：比如：3-> 1,2,3;
    rdd1 = sc.parallelize(range(1, 6))

    rdd2 = rdd1.flatMap(lambda x: range(1, x + 1))

    print(rdd2.collect())
